Mike Clayton escribió:
Gracias. Creo que el blog de JMP podría usar una buena discusión de las historias de "procesos" que generalmente generan cada uno de los principales tipos de distribución. Por ejemplo, la medición de partículas en vidrio o obleas de silicio tiende a ser una distribución muy sesgada, sin valores negativos. Sin embargo, la medición de partículas agregadas o eliminadas con datos anteriores y posteriores tiene valores tanto positivos como negativos. Y, simplemente, las distribuciones de Poisson o las distribuciones Log-Normal pueden no aplicarse en algunos casos para datos de partículas. Un investigador sugirió la distribución de Reynolds, por ejemplo. Cada historia de proceso puede generar una lista de distribuciones probables. Los datos de fábrica pueden ser en su mayoría continuos, mientras que los datos del Servicio tienden a mezclarse con los datos a menudo categóricos o de conteo, a veces porcentajes.
Una pena puede arruinar tu día seriamente. Olvídese de pagar una factura a tiempo, y una multa por retraso le costará unos pocos dólares más. Cuando una bandera amarilla golpea el campo de fútbol, una penalización puede costarle a su equipo favorito la posición de campo, el impulso e incluso algunos puntos. Pero una pena no siempre es tan mala. De hecho, cuando se construye un modelo de regresión, una penalización es algo muy bueno. Este post introduce la plataforma de Regresión Generalizada (nuevo en JMP Pro 11 ), lo que nos permite ajustar modelos de regresión penalizados. Hemos visto como encajar modelos similares. utilizando un complemento , pero la plataforma de regresión generalizada proporciona mucha más funcionalidad integrada en JMP Pro.
Máxima verosimilitud es uno de los caballos de batalla de las estadísticas y es una forma popular de estimar los parámetros en un modelo de regresión. La función de probabilidad nos dice la probabilidad de las respuestas observadas para un conjunto dado de parámetros. Entonces, el estimador de máxima verosimilitud nos da los parámetros de regresión que maximizan la probabilidad de los datos observados. La teoría de la probabilidad también nos proporciona una teoría para hacer inferencias sobre nuestros parámetros de regresión. Bastante atractivo, ¿verdad? La máxima probabilidad es extremadamente poderosa, pero es más apropiada cuando sabemos de antemano qué predictores pertenecen a nuestro modelo.
Evitando el exceso de ajuste
Cuando tenemos docenas de predictores o más y no sabemos qué incluir en nuestro modelo, la máxima probabilidad tiende a sobreponerse y ya no es una elección tan buena. El exceso de equipamiento significa que ajustaremos bien nuestros datos observados, pero haremos un mal trabajo al predecir nuevas observaciones. Las técnicas de regresión penalizadas pueden ayudarnos a evitar el sobreajuste cuando nos vemos abrumados por una gran cantidad de predictores. Por regresión penalizada queremos decir que, en lugar de maximizar nuestra función de probabilidad habitual, optimizaremos una función de probabilidad más una penalización en la magnitud de los parámetros. Optimizar la probabilidad penalizada tiene un sentido intuitivo: queremos ajustar bien los datos, pero no queremos que el modelo sea demasiado grande. La plataforma de Regresión Generalizada en JMP Pro nos permite ajustar tres modelos populares de regresión penalizada: Regresión de Ridge, el Lazo , y el Red elástica . Estas tres técnicas de estimación nos permiten construir modelos de predicción que predecirán bien para nuevas observaciones. El Lazo y la Red Elástica también realizan una selección de variables para que terminemos con un modelo que sea más fácil de interpretar.
En lugar de tratar de cubrir todas las técnicas de estimación disponibles en la plataforma de regresión generalizada, concentrémonos en la red elástica. Elastic Net realiza la selección de variables y la estimación de parámetros simultáneamente. Y como un bono adicional, maneja predictores correlacionados ( multicolinealidad ) bien. Los grandes conjuntos de datos de observación a menudo sufren de multicolinealidad, por lo que Elastic Net es una buena opción cuando se trabaja con datos de observación. Elastic Net penaliza la probabilidad de usar una mezcla de L1 y L2 normas :
Donde las betas son nuestros coeficientes de regresión. La parte L1 de la penalización da como resultado una selección variable, mientras que la parte L1 de la penalización ayuda a lidiar con la colinealidad. Aquí alfa y lambda se denominan parámetros de sintonización, y cada combinación de las dos conduce a un conjunto diferente de estimaciones de parámetros de regresión. JMP ofrece varias opciones para elegir la mejor combinación de los parámetros de ajuste basados en medidas de ajuste como: validación cruzada o la BIC .
Ejemplo de peliculas de hollywood
Probemos la plataforma de regresión generalizada con un ejemplo de la carpeta de datos de muestra de JMP. El conjunto de datos de Hollywood Movies nos brinda información sobre la rentabilidad de una muestra de películas de 2011. Nuestro objetivo es predecir la rentabilidad de una película en función de varios factores: Tomates podridos Score, Audience Score, Lead Studio (33 estudios diferentes en total) y Genre (romance, horror, comedia, etc.). Parece muy poco probable que todos estos predictores tengan un impacto real en la rentabilidad, por lo que queremos hacer una selección de variables. Y deberíamos estar preocupados de que el puntaje de audiencia y el puntaje de Rotten Tomatoes estén altamente correlacionados, ya que el público tiende a estar de acuerdo con los críticos. Entonces, Elastic Net es una opción perfecta para ajustar estos datos porque maneja los predictores correlacionados y realiza la selección de variables. Mi esposa y yo disfrutamos ir al cine y, a menudo, verificamos los puntajes de Rotten Tomatoes antes de elegir una película, por lo que este es uno de mis conjuntos de datos favoritos para presumir de JMP.
Para llegar a la plataforma de Regresión Generalizada, iniciamos el Ajuste del Modelo y seleccionamos Regresión Generalizada en el menú de Personalidad (como en la Figura 1). Después de especificar nuestras columnas y completar el cuadro de diálogo de inicio, elegimos los métodos de estimación y validación como se muestra en la Figura 2. Nos atendremos a los valores predeterminados: Elastic Net con validación BIC.
Figura 1: Lanzamiento de la plataforma generalizada
Figura 2: Diálogo de lanzamiento del modelo
La Figura 3 muestra parte del informe Regresión generalizada, con la tabla de estimación de parámetros ordenada de modo que es más fácil detectar los coeficientes distintos de cero. La gráfica de ruta de la solución nos brinda información sobre cómo diferentes variables ingresaron al modelo de regresión. Cada línea en la ruta representa una variable en nuestro modelo y, a medida que disminuye la penalización (moviéndose de izquierda a derecha en el gráfico), más y más variables ingresan al modelo.
El informe de estimaciones de parámetros nos muestra que solo tres predictores tienen coeficientes distintos de cero en nuestro modelo final. Aparentemente, fue un mal año para los dramas y un buen año para las películas lanzadas por Sony. Y las películas que eran populares entre los críticos tendían a ser más rentables, que es probablemente lo que esperaríamos. Comenzamos con aproximadamente 40 términos en nuestro modelo y lo redujimos a solo tres. Esto nos deja con un modelo que es fácil de interpretar y que predecirá bien para nuevas observaciones.
Figura 3: Informe parcial para el ejemplo de películas de Hollywood
Estoy muy entusiasmado con la plataforma de Regresión Generalizada en JMP 11. La selección de variables es uno de los problemas más importantes en las estadísticas, y ahora JMP Pro tiene herramientas más poderosas para atacar ese problema. ¿Y notaron en la Figura 1 que elegimos la distribución Gamma? Como sugiere el nombre de la plataforma, la plataforma de regresión generalizada nos permite ajustar modelos lineales generalizados. Eso significa que podemos hacer una selección de variables incluso cuando la variable de respuesta no está distribuida normalmente. Para el ejemplo de datos de películas, la distribución gamma es una buena opción porque esperaríamos que la rentabilidad tuviera una distribución sesgada. La plataforma de regresión generalizada admite una variedad de distribuciones en la respuesta: normal, binomial (regresión logística), Poisson, binomial negativo y más. Así que la próxima vez que tenga que hacer una selección de variables, pruebe el Elastic Net o el Lazo en la plataforma de Regresión Generalizada.
